在过去的几年中,神经语言模型(NLM)取得了巨大进步,在各种语言任务上取得了令人印象深刻的表现。利用这一点,对神经科学的研究已开始使用NLMS在语言处理过程中研究人脑中的神经活动。但是,关于哪些因素决定了神经语言模型捕获大脑活动的能力(又称其“大脑评分”)的能力,许多问题仍未得到解决。在这里,我们朝这个方向迈出了第一步,并检查了测试丢失,训练语料库和模型架构的影响(比较手套,LSTM,GPT-2和BERT),对参与者的功能磁共振成像的预测时间表的预测时间表。 。我们发现(1)每个模型的未经训练的版本已经通过捕获相同单词的大脑响应的相似性来解释大脑中的大量信号,而未经训练的LSTM优于基于变压器的模型,受到上下文效果的影响较小。 (2)训练NLP模型可改善同一大脑区域的大脑评分,而与模型的结构无关; (3)困惑(测试损失)不是大脑评分的良好预测指标; (4)训练数据对结果有很大的影响,尤其是,现成的模型可能缺乏检测大脑激活的统计能力。总体而言,我们概述了模型训练选择的影响,并为未来的研究提出了良好的实践,旨在使用神经语言模型来解释人类语言系统。
translated by 谷歌翻译